Time Series Data Preprocessing Techniques

Time Series Data Preprocessing হল একটি অত্যন্ত গুরুত্বপূর্ণ পদক্ষেপ যখন টাইম সিরিজ ডেটার উপর মডেল তৈরি এবং ভবিষ্যদ্বাণী করা হয়। ডেটা থেকে সঠিক প্যাটার্ন বের করা এবং বিশ্লেষণ করতে সাহায্য করার জন্য বিভিন্ন preprocessing techniques ব্যবহার করা হয়। সঠিকভাবে প্রিপ্রসেসিং না করলে, মডেলটি ভুল ভবিষ্যদ্বাণী করতে পারে। নিচে Time Series Data Preprocessing Techniques সম্পর্কিত কিছু গুরুত্বপূর্ণ পদক্ষেপ আলোচনা করা হলো।

১. Missing Values Handling (অনুপস্থিত মান পূরণ)

Missing values টাইম সিরিজ ডেটাতে একটি সাধারণ সমস্যা, যা অনেক কারণে হতে পারে, যেমন ডেটা সংগ্রহের ত্রুটি বা ল্যাগged সময়ের কারণে। টাইম সিরিজ ডেটাতে missing values সমাধান করতে বিভিন্ন কৌশল ব্যবহার করা হয়।

Techniques for Handling Missing Data:

1. Forward Fill (ffill):

   • পূর্ববর্তী মান দিয়ে missing values পূর্ণ করা।

   data.fillna(method='ffill', inplace=True)
   

2. Backward Fill (bfill):

   • পরবর্তী মান দিয়ে missing values পূর্ণ করা।

   data.fillna(method='bfill', inplace=True)
   

3. Interpolation:

   • সরল বা পলিনোমিয়াল ইন্টারপোলেশন ব্যবহার করা।

   data.interpolate(method='linear', inplace=True)
   

4. Mean/Median Imputation:

   • missing values পূর্ণ করতে গড় বা মধ্যম ব্যবহার করা।

   data.fillna(data.mean(), inplace=True)  # Mean Imputation
   

২. Handling Outliers (আউটলাইয়ারস বা অস্বাভাবিক মান)

আউটলাইয়ার বা outliers সাধারণত ডেটা বিশ্লেষণ বা মডেল তৈরির জন্য সমস্যা সৃষ্টি করতে পারে। তাই আউটলাইয়ারস চিহ্নিত এবং সরিয়ে ফেলা প্রয়োজন হতে পারে।

Outlier Detection Techniques:

1. IQR Method (Interquartile Range):

   • Q1 (25th percentile) এবং Q3 (75th percentile) এর মধ্যে পার্থক্য হিসাবে আউটলাইয়ার চিহ্নিত করা।

   Q1 = data.quantile(0.25)
   Q3 = data.quantile(0.75)
   IQR = Q3 - Q1
   data = data[(data >= (Q1 - 1.5 * IQR)) & (data <= (Q3 + 1.5 * IQR))]
   

2. Z-score Method:

   • Z-স্কোর ব্যবহারের মাধ্যমে আউটলাইয়ার চিহ্নিত করা।

   from scipy import stats
   z_scores = stats.zscore(data)
   data = data[(z_scores < 3)]  # Filter values with Z-score > 3
   

৩. Stationarity (স্টেশনারিটি পরীক্ষা)

Stationarity হল এমন একটি বৈশিষ্ট্য যেখানে টাইম সিরিজের গড়, ভ্যারিয়েন্স এবং অন্যান্য পরিসংখ্যান সময়ের সঙ্গে অপরিবর্তিত থাকে। অধিকাংশ টাইম সিরিজ মডেল যেমন ARIMA স্টেশনারি ডেটার উপর কাজ করে।

Stationarity Testing:

1. Augmented Dickey-Fuller (ADF) Test:

   • ADF টেস্ট ব্যবহার করে টাইম সিরিজের স্টেশনারিটি পরীক্ষা করা হয়।

   from statsmodels.tsa.stattools import adfuller
   result = adfuller(data)
   print('ADF Statistic:', result[0])
   print('p-value:', result[1])
   

   p-value যদি 0.05 এর কম হয়, তাহলে সিরিজ স্টেশনারি।

Making a Series Stationary:

1. Differencing:

   • টাইম সিরিজের প্রথম পার্থক্য (difference) নিয়ে স্টেশনারি করা।

   data_diff = data.diff().dropna()
   

2. Log Transformation:

   • টাইম সিরিজে শক্তিশালী প্রবণতা থাকলে লগ ট্রান্সফরমেশন করা যেতে পারে।

   data_log = np.log(data)
   

3. Smoothing (Moving Average):

   • ডেটাকে মসৃণ করার জন্য চলন্ত গড় ব্যবহার করা যেতে পারে।

   data_smooth = data.rolling(window=12).mean()
   

৪. Handling Seasonality (মৌসুমীতা)

টাইম সিরিজ ডেটাতে Seasonality এমন একটি উপাদান যেখানে একটি নির্দিষ্ট সময়ের মধ্যে নিয়মিত পরিবর্তন ঘটে। মৌসুমী পরিবর্তনগুলির প্রভাব বোঝার জন্য সিজনালিটি শোধন করা গুরুত্বপূর্ণ।

Seasonality Decomposition:

1. STL (Seasonal-Trend Decomposition using LOESS):

   • এটি মৌসুমীতা, প্রবণতা এবং অবশিষ্টাংশ আলাদা করতে ব্যবহার করা হয়।

   from statsmodels.tsa.seasonal import STL
   stl = STL(data, seasonal=13)
   result = stl.fit()
   result.plot()
   

৫. Normalization and Scaling (স্বাভাবিককরণ এবং স্কেলিং)

টাইম সিরিজ ডেটার মধ্যে অনেক সময় স্কেল ভিন্ন হতে পারে, যা মডেল প্রশিক্ষণের ক্ষেত্রে সমস্যা সৃষ্টি করতে পারে। তাই ডেটাকে normalize বা scale করা প্রয়োজন হতে পারে।

Normalization and Scaling Techniques:

1. Min-Max Scaling:

   • ডেটাকে 0 এবং 1 এর মধ্যে স্কেল করা।

   from sklearn.preprocessing import MinMaxScaler
   scaler = MinMaxScaler()
   data_scaled = scaler.fit_transform(data.values.reshape(-1, 1))
   

2. Z-score Normalization:

   • ডেটার গড় এবং স্ট্যান্ডার্ড ডেভিয়েশন ব্যবহার করে স্বাভাবিকীকরণ।

   from sklearn.preprocessing import StandardScaler
   scaler = StandardScaler()
   data_scaled = scaler.fit_transform(data.values.reshape(-1, 1))
   

৬. Feature Engineering (ফিচার ইঞ্জিনিয়ারিং)

টাইম সিরিজের উপর ভিত্তি করে নতুন ফিচার তৈরি করা যেতে পারে, যা মডেলের কার্যকারিতা বাড়াতে সহায়ক হতে পারে।

Common Feature Engineering Techniques:

1. Lag Features (ল্যাগ ফিচার):

   • পূর্ববর্তী সময় পয়েন্টগুলির উপর ভিত্তি করে নতুন ফিচার তৈরি করা, যেমন 1-step lag, 2-step lag ইত্যাদি।

   data['lag_1'] = data['value'].shift(1)
   

2. Rolling Statistics:

   • একটি চলমান উইন্ডো (moving window) ব্যবহার করে গড় বা অন্যান্য পরিসংখ্যান তৈরি করা।

   data['rolling_mean'] = data['value'].rolling(window=12).mean()
   

3. Date/Time Features:

   • ডেটার মধ্যে দিন, সপ্তাহ, মাস, বা বছর সম্পর্কিত নতুন ফিচার তৈরি করা।

   data['year'] = data.index.year
   data['month'] = data.index.month
   data['dayofweek'] = data.index.dayofweek
   

৭. Resampling (ডেটা পুনরায় নমুনা তৈরি করা)

টাইম সিরিজ ডেটার time intervals যদি অমীমাংসিত বা অপর্যাপ্ত হয়, তবে resampling এর মাধ্যমে ডেটাকে পুনরায় সংগঠিত করা যেতে পারে। এটি সাপ্তাহিক, মাসিক বা অন্যান্য পর্যায়ে ডেটা পুনঃসংগঠিত করার জন্য ব্যবহৃত হয়।

Resampling Techniques:

1. Upsampling:

   • সাপোর্টেড ইনফরমেশন থেকে ছোট সময় ফ্রেমের মধ্যে ডেটা পুনঃসংগঠিত করা।

   data_resampled = data.resample('D').ffill()  # Daily frequency
   

2. Downsampling:

   • ছোট সময় ফ্রেমকে বড় সময় ফ্রেমে পরিবর্তন করা।

   data_resampled = data.resample('M').mean()  # Monthly frequency
   

সারাংশ

Time Series Data Preprocessing হল টাইম সিরিজ ডেটাকে বিশ্লেষণযোগ্য এবং মডেল প্রশিক্ষণের জন্য প্রস্তুত করার প্রক্রিয়া। এটি বিভিন্ন পদক্ষেপ যেমন missing values হ্যান্ডলিং, outliers চিহ্নিতকরণ, stationarity পরীক্ষা, seasonality ডিকম্পোজিশন, normalization এবং feature engineering ইত্যাদি অন্তর্ভুক্ত করে। সঠিক preprocessing মডেলের কার্যকারিতা এবং পূর্বাভাসের ক্ষমতা বৃদ্ধি করতে সাহায্য করে।